基于如何解释参数模型（例如价值与策略表示）或如何制定学习目标，但它们具有最大化预期回报的共同目标，从而从各种原则中激发了政策优化的方法。为了更好地捕获共同点并确定策略优化方法之间的关键差异，我们开发了一个统一的观点，该视角以有限的梯度形式和缩放功能的选择来重新表达基础更新。特别是，我们确定了高度结构化的策略优化的近似梯度更新的参数化空间，但涵盖了包括PPO在内的经典和最近的示例。结果，我们获得了新颖而充满动力的更新，以概括现有算法的方式可以在收敛速度和最终结果质量方面带来好处。一项实验研究表明，可以利用参数化更新家族中提供的额外自由度，以获得合成域和流行的深入RL基准的非平凡改进。

我们提出了Composuite，这是一种用于组成多任务增强学习（RL）的开源模拟机器人操纵基准。每个复合仪任务都需要特定的机器人组来操纵一个单独的对象，以实现一个任务目标，同时避免障碍物。该任务的这种组成定义赋予了Composuite具有两个非凡的属性。首先，改变机器人/对象/客观/障碍元素会导致数百个RL任务，每个任务都需要有意义的不同行为。其次，可以专门评估RL方法，以了解其学习任务的组成结构的能力。后者在功能上分解问题的能力将使智能代理能够识别和利用学习任务之间的共同点，以处理大量高度多样化的问题。我们在各种培训环境中基准了现有的单任务，多任务和组成学习算法，并评估其在构图上概括到看不见的任务的能力。我们的评估暴露了现有RL方法在组成方面的缺点，并为调查开辟了新的途径。

尽管深度神经网络（DNNS）在封闭世界的学习方案中取得了令人印象深刻的分类性能，但它们通常无法概括地在动态的开放世界环境中看不见的类别，在这种环境中，概念数量无界的数量。相反，人类和动物学习者具有通过识别和适应新颖观察结果来逐步更新知识的能力。特别是，人类通过独家（唯一）基本特征集来表征概念，这些特征既用于识别已知类别和识别新颖性。受到自然学习者的启发，我们引入了稀疏的高级独特，低水平共享的特征表示（Shels），同时鼓励学习独家的高级功能和必不可少的，共享的低级功能。高级功能的排他性使DNN能够自动检测到分布（OOD）数据，而通过稀疏的低级功能可以有效利用容量，可以容纳新知识。最终的方法使用OOD检测来执行班级持续学习，而没有已知的类边界。我们表明，使用木材进行新颖性检测导致对各种基准数据集的最新OOD检测方法的统计显着改善。此外，我们证明了木木模型在课堂学习环境中减轻灾难性的遗忘，从而实现了一个组合的新颖性检测和住宿框架，该框架支持在开放世界中学习

研究深度学习的鲁棒性的一个主要挑战是定义了给定神经网络（NN）不变的``毫无意义''扰动集。关于鲁棒性的大多数工作隐含地将人作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定的NN应该不变，从而使对任何NN的依赖概述对任何NN的依赖。这使得衡量鲁棒性等同于衡量两个NN共享不稳定的程度，我们提出了一种称为搅拌的措施。搅拌重新调整现有的表示相似性措施，使其适合衡量共享的不稳定。使用我们的度量，我们能够深入了解共享的不断增长，随着重量初始化，体系结构，损失功能和培训数据集的变化如何变化。我们的实现可在：\ url {https://github.com/nvedant07/stir}中获得。

实际上，决策算法通常经过表现出各种偏见的数据培训。决策者通常旨在根据假定或期望公正的基础真相目标做出决策，即同样分布在社会显着的群体中。在许多实际设置中，无法直接观察到地面真相，相反，我们必须依靠数据中的地面真相（即偏置标签）的有偏见的代理度量。此外，通常会选择性地标记数据，即，即使是有偏见的标签，也仅对获得积极决策的数据的一小部分观察到。为了克服标签和选择偏见，最近的工作提议学习随机性，通过i）在每个时间步长的在线培训新政策，ii）执行公平性作为绩效的限制。但是，现有方法仅使用标记的数据，忽略了大量未标记的数据，因此在不同时间学到的决策策略的不稳定性和差异很大。在本文中，我们提出了一种基于实用公平决策的各种自动编码器的新方法。我们的方法学习了一个无偏的数据表示，利用标记和未标记的数据，并使用表示形式在在线过程中学习策略。使用合成数据，我们从经验上验证我们的方法根据差异较低的地面真相会收敛到最佳（公平）策略。在现实世界实验中，我们进一步表明，我们的培训方法不仅提供了更稳定的学习过程，而且还产生了比以前的方法更高的公平性和效用的政策。

招聘或大学入学等选择问题的歧视通常是由决策者对弱势人口群体的隐性偏见来解释的。在本文中，我们考虑了决策者收到每个候选品质的噪声估计的模型，其方差取决于候选人的组 - 我们认为这种差异方差是许多选择问题的关键特征。我们分析了两个值得注意的设置：首先，噪声差异对于决策者而言是未知的，他只能独立于他们的群体选择最高的估计质量;在第二个中，差异是已知的，决策者挑选了给出嘈杂估计的最高预期质量的候选者。我们表明，两者的基线决策者都会产生歧视，尽管在相反的方向：第一个导致低方差集团的代表性不足，而第二个导致高方差群体的代表性不足。我们研究了对施加公平机制的选择效用的影响，我们将获得$ \ Gamma $ -rule术语（它是古典四分之五规则的延伸，它还包括人口统计奇偶校验）。在第一个设置（具有未知的差异）中，我们证明，在温和的条件下，施加$ \ Gamma $ -rule增加了选择效用 - 在这里，公平与公用事业之间没有权衡。在第二个设置（具有已知的差异）中，施加$ \ Gamma $ -rule降低了该实用程序，但我们由于公平机制而证明了该公用事业损失的束缚。

我们争辩说，当模型学习\ texit {good}表示时，我们应该有一个有价值的视角是，应该由人类类似地观察到模型的类似表示的输入。我们使用\ textit {表示反转}来生成映射到相同模型表示的多个输入，然后通过人类调查量化这些输入的感知相似性。我们的方法产生了模型与人类感知对齐的程度的衡量标准。使用这种对准度量，我们评估了用各种学习范例（例如〜监督和自我监督学习）和不同培训损失（标准和强大培训）培训的模型。我们的研究结果表明，具有人类感知的表现的对齐提供了对模型的品质的有用的额外见解。例如，我们发现与人类感知的对齐可以用作模型对不同模型对输出冲突的输入的模型预测的信任的量度。我们还发现模型的各种属性，如其架构，培训范式，培训损失和数据增强在与人类感知一致的学习陈述中起着重要作用。

抒情一代是近年来已经看到的自然语言生成的流行子领域。由于流派的独特风格和内容，流行歌词具有独特的兴趣，除了专业流行文章流行过程中的景区后面的高度合作。在本文中，我们介绍了一个协作线路级抒情生成系统，它通过T5变压器模型使用传输学习，直到日期尚未用于生成流行歌词。通过直接与专业的歌曲撰稿人直接沟通，我们开发了一种能够学习诸如押韵，匹配线击败要求以及具有特定目标单词的结尾线的抒情和风格任务的模型。我们的方法对多个数据集的现有方法有利地进行了比较，从我们的在线研究和与行业歌曲撰稿者采访中产生积极的结果。

Automated data-driven decision making systems are increasingly being used to assist, or even replace humans in many settings. These systems function by learning from historical decisions, often taken by humans. In order to maximize the utility of these systems (or, classifiers), their training involves minimizing the errors (or, misclassifications) over the given historical data. However, it is quite possible that the optimally trained classifier makes decisions for people belonging to different social groups with different misclassification rates (e.g., misclassification rates for females are higher than for males), thereby placing these groups at an unfair disadvantage. To account for and avoid such unfairness, in this paper, we introduce a new notion of unfairness, disparate mistreatment, which is defined in terms of misclassification rates. We then propose intuitive measures of disparate mistreatment for decision boundary-based classifiers, which can be easily incorporated into their formulation as convex-concave constraints. Experiments on synthetic as well as real world datasets show that our methodology is effective at avoiding disparate mistreatment, often at a small cost in terms of accuracy.

Algorithmic decision making systems are ubiquitous across a wide variety of online as well as offline services. These systems rely on complex learning methods and vast amounts of data to optimize the service functionality, satisfaction of the end user and profitability. However, there is a growing concern that these automated decisions can lead, even in the absence of intent, to a lack of fairness, i.e., their outcomes can disproportionately hurt (or, benefit) particular groups of people sharing one or more sensitive attributes (e.g., race, sex). In this paper, we introduce a flexible mechanism to design fair classifiers by leveraging a novel intuitive measure of decision boundary (un)fairness. We instantiate this mechanism with two well-known classifiers, logistic regression and support vector machines, and show on real-world data that our mechanism allows for a fine-grained control on the degree of fairness, often at a small cost in terms of accuracy. A Python implementation of our mechanism is available at fate-computing.mpi-sws.org